Khoảng thời gian này, một hạ thần của Lý Quỹ là An Hưng Quý (安興貴) đã bắt giữ Lý Quỹ trong một cuộc chính biến và dâng nước Lương cho Đường. Tuy nhiên, Đường phải đối mặt với mối đe dọa trên một mặt trận khác khi Lưu Vũ Chu quyết định tiến hành một cuộc tấn công quy mô lớn về phía nam, đoạt lấy phần lớn Sơn Tây ngày nay (vốn do Đường kiểm soát), và sẵn sàng tiến đến kinh thành Trường An của Đường. Vào cuối năm 619, quân Đường do Lý Thế Dân thống lĩnh bắt đầu phản kích Lưu Vũ Chu. Đến mùa hè năm 620, Lý Thế Dân đã đánh bại Lưu Vũ Chu, bản thân Lưu Vũ Chu bỏ lãnh thổ của mình và chạy sang Đông Đột Quyết. Nước Định Dương của Lưu Vũ Chu bị sáp nhập vào Đường.

Khu vực hạ du Trường Giang vốn là lâm vào tình trạng hỗn loạn kể từ sau cái chết của Tùy Dạng Đế, nay bị phân chia giữa ba nhân vật đối địch: Thẩm Pháp Hưng nguyên là quan triều Tùy, tự xưng là Lương Vương và kiểm soát phần lớn bờ nam Trường Giang; lãnh tụ khởi nghĩa Lý Tử Thông kiểm soát Giang Đô và khu vực xung quanh, tự xưng là Ngô Đế; còn Đỗ Phục Uy đã quy thuận triều Đường và được phong là Ngô Vương.

Sau khi đánh bại nước Định Dương, Lý Thế Dân chuyển chú ý sang nước Trịnh. Lý Thế Dân tiến đến đô thành Lạc Dương của Trịnh và bao vây thành. Nhiều thành của Trịnh đã đầu hàng Đường, buộc Vương Thế Sung phải tìm kiếm cứu viện từ nước Hạ của Đậu Kiến Đức. Đậu Kiến Đức nghĩ rằng nếu để Đường diệt Trịnh thì nước Hạ của mình cũng sẽ nguy khốn, vì thế đã chấp thuận cứu viện, đem quân tiến về phía nam hướng đế Lạc Dương nhằm giải vây cho thành. Khoảng thời gian này, Đỗ Phục Uy (nay cải danh thành Lý Phục Uy) đánh bại Lý Tử Thông, trước đó, vào năm 620, Lý Tử Thông đã đánh bại Thẩm Pháp Hưng. Lý Tử Thông nay chiếm giữ lãnh thổ cũ của Thẩm Pháp Hưng, còn lãnh thổ cũ của Lý Tử Thông rơi vào tay Lý Phục Uy dưới danh nghĩa triều Đường.

Vào mùa thu năm 621, Đậu Kiến Đức tiến đến gần, Lý Thế Dân tiến về phía đông đến Hổ Lao quan và đóng quân tại đây. Khi hai bên giao chiến, Lý Thế Dân đã đánh bại Đậu Kiến Đức và bắt giữ được người này. Vương Thế Sung sợ hãi nên đã đầu hàng. Đường Cao Tổ hành quyết Đậu Kiến Đức và bắt Vương Thế Sung đi lưu đày (song sau đó Vương Thế Sung bị tướng Đường Độc Cô Tu Đức giết để trả thù giết cha). Nước Trịnh của Vương Thế Sung và nước Hạ của Đậu Kiến Đức đều bị sáp nhập vào Đường, song ngay sau đó tại lãnh thổ cũ của Hạ, cựu tướng của Đậu Kiến Đức là Lưu Hắc Thát đã nổi dậy và tự xưng là Hán Đông Vương. Khu vực nay là Sơn Đông vốn do thủ lĩnh khởi nghĩa nông dân Từ Viên Lãng kiểm soát song từng lần lượt thần phục Trịnh và sau đó là Đường, lúc này cũng nổi dậy dưới sự lãnh đạo của Từ Viên Lãng, người này tự xưng là Lỗ Vương.

Cũng vào năm 621, chất tôn của Đường Cao Tổ là Triệu quận vương Lý Hiếu Cung đã tiến đánh nước Lương của Tiêu Tiển, bao vây kinh thành Giang Lăng của nước này. Tiêu Tiển không nhận thấy quân cứu viện của mình đang đến gần nên đã đầu hàng, và hầu hết nước Lương bị sáp nhập vào Đường, trong khi một số tướng sĩ khuất phục Lâm Sĩ Hoằng. Khoảng thời gian này, Lý Phúc Uy đã đánh bại Lý Tử Thông, buộc Lý Tử Thông phải đầu hàng, nước Ngô của Lý Tử Thông cũng bị sáp nhập vào Đường.

Vào mùa xuân năm 622, Lý Thế Dân đánh bại Lưu Hắc Thát, buộc Lưu Hắc Thát phải chạy sang Đông Đột Quyết, song Lưu Hắc Thát đã quay trở lại với viện trợ của Đông Đột Quyết, tái chiếm lãnh thổ của nước Hạ trước đó. Vào mùa đông năm 622, hoàng huynh của Lý Thế Dân là Thái tử Lý Kiến Thành lại đánh bại Lưu Hắc Thát, vào mùa xuân năm 623, trong lúc chạy trốn, Lưu Hắc Thát bị thuộc hạ Gia Cát Đức Uy (諸葛德威) phản bội đem nộp cho quân Đường, Lý Kiến Thành cho hành quyết Lưu Hắc Thát. Trước đó, Lâm Sĩ Hoằng qua đời, và nước Sở của ông tan vỡ khi các thành dần đầu hàng Đường, và ngay sau khi Lưu Hắc Thát chết, Từ Viên Lãng cũng chết trận sau nhiều lần chiến bại trước quân Đường. Vào lúc này, ngoài Lương Sư Đô và Cao Khai Đạo ở cực bắc, Trung Hoa phần lớn đã thống nhất dưới quyền cai quản trên danh nghĩa của Đường.

Tuy nhiên, vào mùa thu năm 623, khi Lý Phục Uy đang ở Trường An, bộ tướng của ông là Phụ Công Thạch đã nổi dậy tại Đan Dương, tự xưng là Tống Đế và kiểm soát lãnh thổ từng nằm dưới quyền cai quản của Lý Phục Uy. Năm 624, Lý Hiếu Cung đã đánh bại và giết chết Phụ Công Thạch, hợp nhất nước Tống vào Đường. Trong khi đó, Cao Khai Đạo phải đối mặt với một cuộc nổi dậy do thuộc hạ là Trương Kim Thụ (張金樹) tiến hành và đã quyết định tự sát, nước Yên của ông cũng bị sáp nhập vào Đường.

Trong khi đó, với sự bảo hộ của Đông Đột Quyết, Lương Sư Đô chặn đứng các cuộc tấn công của Đường, bản thân Đường phải hứng chịu các cuộc tấn công quấy rối liên tục của Đông Đột Quyết. Sau khi Lý Thế Dân phục kích và sát hại đại huynh Lý Kiến Thành và tứ đệ Lý Nguyên Cát vào năm 626 và trên thực tế buộc phụ hoàng phải thiện nhượng cho mình, Đường bắt đầu xoay chuyển tình thế. Năm 628, Đông Đột Quyết xảy ra bất ổn nội bộ do bất đồng giữa Hiệt Lợi khả hãn A Sử Na Đốt Bật và thuộc cấp là Đột Lợi khả hãn A Sử Na Thập Bát Bật, khiến hãn quốc này không còn có thể bảo hộ cho Lương Sư Đô. Trong tình cảnh bị Đường bao vây, đường đệ của Lương Sư Đô là Lương Lạc Nhân (梁洛仁) đã sát hại Lương Sư Đô và đầu hàng Đường.